馬斯克AI大模型Grok開源:參數量達3140億

掃碼閱讀手機版

來源: 快科技 2024-03-18 10:48:05

  據媒體報道,馬斯克的AI創企xAI正式宣布其大語言模型Grok-1已實現開源,並向公眾開放下載。

  據了解,Grok-1是一款基於混合專家系統(Mixture-of-Experts,MoE)技術構建的大語言模型,擁有3140億參數,遠超OpenAI GPT-3.5的1750億。這是迄今參數量最大的開源大語言模型,遵照Apache 2.0協議開放模型權重和架構。

  xAI表示,Grok-1始終由xAI自行訓練,其預訓練階段於2023年10月完成。此次發布的是Grok-1預訓練階段結束時的原始基礎模型檢查點,即該模型未經過針對任何具體應用的微調。

  xAI的目的之一就是與OpenAI、谷歌、微軟等對手在大模型領域進行競爭,其團隊來自OpenAI、谷歌DeepMind、谷歌研究院、微軟研究院等諸多知名企業和研究機構。

  目前,xAI並沒有放出Grok-1的具體測試成績,它與其他公司的大模型之戰將成為業內關注的焦點。

下載津雲客戶端關注更多精彩

推薦新聞

我來說兩句

關於北方網 | 廣告服務 | 誠聘英纔 | 聯系我們 | 網站律師 | 設為首頁 | 關於小狼 | 違法和不良信息舉報電話:022-23602087 | 舉報郵箱:jubao@staff.enorth.cn | 舉報平臺

Copyright (C) 2000-2024 Enorth.com.cn, Tianjin ENORTH NETNEWS Co.,LTD.All rights reserved
本網站由天津北方網版權所有
增值電信業務經營許可證編號:津B2-20000001  信息網絡傳播視聽節目許可證號:0205099  互聯網新聞信息服務許可證編號:12120170001津公網安備 12010002000001號
增值電信業務經營許可證編號:津B2-20000001  信息網絡傳播視聽節目許可證號:0205099  互聯網新聞信息服務許可證編號:12120170001津公網安備 12010002000001號